Regularization, Normalization, Standardization, Generalization

퍼플렉시티가 정리해 주었다.

요약

Regularization => 모델의 오버 피팅을 방지하기 위함.
Normalization => 데이터의 범위를 0~1로 스케일링함.
Standardization => 데이터의 분포를 평균을 0이고 표준편차가 1이 되도록 바꾸어줌.
Generalization => 모델이 훈련 데이터 뿐만 아니라 완전히 새로운 데이터에도 대응 할 수 있도록 만드는 일.
특정하게 그 데이터에서만 기능하는 것이 아닌 "일반적인" 데이터에도 기능하도록 만든다.

정규화는 머신러닝 모델이 과적합(overfitting)되는 것을 방지하기 위한 기법입니다. 모델이 훈련 데이터의 노이즈까지 학습하여 새로운 데이터에 대한 일반화 성능이 저하되는 문제를 해결합니다1 2.

주요 특징:

적용 사례:
예를 들어, 소매업에서 제품 재고 부족을 예측하는 모델에서 정규화를 통해 모델이 특정 주방의 특이점을 암기하는 대신 "커피 머그는 보통 머리 위 캐비닛에 보관된다"와 같은 높은 수준의 개념을 학습하도록 합니다1.

정규화는 수치형 데이터 특성을 공통 범위(일반적으로 0~1)로 스케일링하는 기법입니다. 데이터의 상대적 관계를 왜곡하지 않으면서 특성들을 일관된 범위로 변환합니다3.

주요 특징:

표준화는 데이터를 평균이 0이고 표준편차가 1인 분포로 변환하는 기법입니다. 이는 서로 다른 단위나 범위를 가진 특성들을 비교 가능한 스케일로 만들어 줍니다4.

주요 특징:

적용 사례:

일반화는 AI 모델이 훈련 데이터를 넘어 새롭고 보지 않은 데이터에 대해서도 잘 수행하는 능력을 의미합니다5.

주요 특징:

적용 사례:

정규화, 정규화, 표준화는 모두 일반화 성능을 향상시키기 위한 기법들이지만, 각각 다른 방식으로 접근합니다. 정규화는 모델 복잡도를 제한하고, 정규화와 표준화는 데이터 전처리 단계에서 특성의 스케일을 조정합니다.

Answer from Perplexity: pplx.ai/share